Sự Phát Triển của NLP: Từ AI Phân Mảnh Đến Mô Hình Nền Tảng
Định Nghĩa
- AI Phân Mảnh: Một kỷ nguyên được định hình bởi các kiến trúc mạng nơ-ron chuyên biệt, rời rạc, được thiết kế cho từng tác vụ riêng lẻ như gán nhãn chuỗi hoặc phân loại.
- Mô Hình Nền Tảng: Một kiến trúc transformer đơn khối, thống nhất, xử lý mọi bài toán ngôn ngữ như một chuỗi sinh văn bản sang văn bản $x \rightarrow y$.
Các Khái Niệm Cốt Lõi
- Hợp Nhất Kiến Trúc: Trước đây, NLP đòi hỏi các pipeline riêng biệt (Bi-LSTM cho NER, CNN cho phân tích cảm xúc). LLM hợp nhất các hệ thống tách biệt này thành một xương sống duy nhất, nơi cùng một bộ trọng số được sử dụng cho mọi tác vụ.
- Giao Diện Thống Nhất: LLM thay thế các "đầu ra chuyên biệt" (ví dụ: Softmax 3 lớp) bằng giao diện ngôn ngữ tự nhiên. Đầu vào và đầu ra luôn là chuỗi ký tự, cho phép mô hình diễn giải ý định thay vì định dạng.
- Chuyển Giao Tri Thức: Các mô hình truyền thống là "tabula rasa" (bảng trắng) cho mỗi tác vụ. LLM ưu tiên Tổng Quát Hóa Trước Tiên, trong đó các tác vụ cụ thể chỉ là ứng dụng của một biểu diễn ngôn ngữ nội tại mạnh mẽ đã có sẵn.
Bối Cảnh Lịch Sử
- Trước 2018: Việc tách biệt tác vụ đòi hỏi huấn luyện các mô hình riêng biệt với các hàm mất mát khác nhau $\mathcal{L}_{task}$.
- Kỷ Nguyên Hiện Đại: Mô hình "Văn bản sang Văn bản" cho phép một mô hình duy nhất (ví dụ: Llama-3) chuyển đổi tác vụ thông qua zero-shot hoặc few-shot prompting.
So Sánh Triển Khai Python
